Итак. поговорим о фильтрах. Фильтры — это специальные алгоритмы, которые понижают в выдаче или вообще викидывают из индекса страницы сайта из-за несоответствия определенным требованиям. Приведу примеры (на основании данного сайта) и также способы борьбы с ними.

Это исключение сайта из индекса. Не нескольких страниц, а полностью всего сайта. Проверить легко — вбейте в качестве запроса адрес сайта. Если нет ни одной

итак, поговорим о роботс.тхт. Большинство пользователей, услышав о рекомендации создать его, смотрят такими глазами, как будто им сказали сваять на аасемблере виндовс 12)) что же такое, этот страшный файл?

роботс — это простой текстовый документ, который сильно может облегчить Вам жызнь. С его помощью Вы можете запретить индексацию мусора и ненужных страниц.

User-agent: * Disallow: /*error Disallow: /*index Disallow: /link Disallow: /public/adDisallow: